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Описывается реализация систем открытой формы компьютерного тестирования знаний для проверки знаний по основам про- 
граммирования и тем учебным дисциплинам, в которых вопросы требуют формулировки пространного ответа. Рассматривают- 
ся особенности реализации систем тестирования, их состав, этапы работы с ними. 


В настоящее время существует большое количе- 
ство компьютерных систем тестирования знаний. 
Они охватывают разные области знания, предоста- 
вляют тем, кто этими системами пользуется, разно- 
образные средства достижения поставленных це- 
лей. Составителям тестов предоставляется возмож- 
ность контролировать знания, а пользователям те- 
стов - проверить знания. 

Согласно одной из разновидностей классифи- 
кации тестов, основанной на характере ответов на 
вопросы, существует два вида тестов - тесты зак- 
рытого типа и открытого типа. В тестах закрытого 
типа ответы предписаны, и испытуемому необхо- 
димо лишь выбрать из предложенных вариантов 
ответов тот или иной вариант. В тестах открытого 
типа испытуемому необходимо самостоятельно 
сформулировать ответ, дописав слово, словосоче- 
тание, предложение, знак, формулу и т. д. [1]. 

Все разнообразие компьютерных систем тести- 
рования объединяет то, что они проверяют, в ос- 
новном, лишь начальный уровень усвоения знаний 
- репродуктивное узнавание. Это связано с тем, 
что большая часть компьютерных систем тестиро- 
вания знаний основана на разновидностях одной 
формы тестирования - закрытой. Эта форма тести- 
рования легко реализуема, чем и обусловлено ее 
широкое распространение. 

Существует много исследований, посвященных 
эффективности закрытой формы тестирования с 


выбором ответов. В [2], например, отмечено, что 
контроль знаний, построенный на основе выбо- 
рочных ответов, принципиально не может выявить 
более высокого уровня обучения, чем уровень 
«знакомства». Другие виды закрытой формы тести- 
рования (альтернативные ответы, соответствие, 
последовательность, множественный выбор, ис- 
ключение лишнего, аналогии) в том или ином виде 
также реализуют выбор из предложенных вариан- 
тов, и, следовательно, также позволяют проверять 
лишь начальный уровень приобретения знаний. 

Следует отметить, что даже в тех случаях, когда 
характер поставленного вопроса позволяет прове- 
рять более высокую степень приобретения знаний, 
например, понимание или применение, использо- 
вание закрытой формы тестирования приводит к 
тому, что снижается его диагностическая эффектив- 
ность. В качестве иллюстрации сказанному можно 
привести вопрос, проверяющий умение применять 
полученные знания, который взят из документации 
к системе тестирования ОрспТеМ [3]. 

Даны три цифры (например, 1, 2, 3). Сколько 
трехзначных чисел можно составить из них, если 
цифры не повторяются? 

* 3 ; 

* 6 ; 

* 9; 

• 12 . 
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Очевидно, что приведение нескольких задан- 
ных ответов снижает эффективность тестирования. 
В такой форме резко повышается вероятность слу- 
чайного выбора правильного ответа при полном 
неумении решить задачу. В то же время, изменив 
форму тестирования с закрытой на открытую фор- 
му, т. е. убрав варианты ответов, действительно 
можно проверить умение отвечающего решать по- 
добные задачи. 

Из всего сказанного можно сделать вывод, что, 
не отказываясь полностью от использования зада- 
ний закрытого типа, разработчики автоматизиро- 
ванных систем контроля знаний должны думать о 
расширении разнообразия видов тестирования. 
Иными словами, если требуется проверять умение 
понимать, а не узнавать предъявленный материал, 
умение применять его для получения ответа на во- 
прос, потребуется наличие систем, реализующих 
открытую форму тестирования. 

В тестах открытого типа выделяют следующие 
возможные варианты ответов: 

• задания дополнения - испытуемый должен сам 
сформулировать ответы с учетом предусмотрен- 
ных в задании ограничений; 

• свободного изложения - испытуемый должен 
самостоятельно сформулировать ответы, ибо 
никакие ограничения на них в задании не на- 
кладываются. 

Известно, что в настоящее время задача ком- 
пьютерной реализации открытой формы тестиро- 
вания в общем случае (свободно-конструируемый 
развернутый ответ на естественном языке) не ре- 
шена. Причина заключается в сложности извлече- 
ния смысла из фраз слабо формализованного есте- 
ственного языка, на котором формулируется ответ. 
При этом нужно отметить, что возможна простей- 
шая реализация открытой формы тестирования в 
случае, когда результатом ответа на вопрос являет- 
ся число или фиксированная строка. В этом случае 
проверка правильности введенного ответа осу- 
ществляется сравнением с эталоном. Однако для 
ситуации, в которой требуется развернутый ответ, 
такой подход не эффективен. Например, для тести- 
рования знаний основ программирования ответом 
на некоторые вопросы тестов может быть исход- 
ный код программы и результат ее выполнения. 
Другая ситуация возникает при необходимости 
дать развернутый ответ, описывающий некоторый 
алгоритм, либо последовательность действий, либо 
состав некоторой системы и т. п. 

Мы рассмотрим вопросы реализации двух си- 
стем тестирования, соответствующих описанным 
выше ситуациям. 

Система тестирования знаний основ 
программирования 

При обучении основам программирования кон- 
троль приобретенных практических умений и спо- 


собности создавать правильно работающую про- 
грамму намного полезнее для обучения, чем ответы 
на общие вопросы в тестирующем диалоге. Имен- 
но в этой ситуации требуется давать развернутые 
ответы в виде текста программ. Проверка правиль- 
ности ответа должна включать стадии синтаксиче- 
ской и семантической правильности написанной 
программы. Основная идея реализации системы 
связана с тем, что предметная область включает в 
себя проблемно-ориентированный язык - язык 
программирования. Синтаксическую проверку 
текста на этом языке можно передать компилятору 
выбранного языка программирования. А семанти- 
ческая проверка осуществляется тестированием 
синтаксически правильной программы при задан- 
ном наборе исходных данных. 

Разработанная система предназначена не толь- 
ко для тестирования знаний основ программирова- 
ния, но и для итогового контроля этих знаний в 
форме зачета или экзамена. Важно отметить, что 
система предназначена для студентов, изучающих 
программирование как общеобразовательную дис- 
циплину. Поэтому система должна избавлять сту- 
дента от необходимости знать тонкости и детали 
реализации языка программирования, используе- 
мые библиотеки и особенности конкретной среды 
разработки, конкретную реализацию ввода и выво- 
да. Кроме того, система предоставляет средства 
подготовки материалов для тестирования (инстру- 
мент преподавателя). Одним из главных принци- 
пов организации системы автоматизированного 
тестирования является возможность преподавателя 
самостоятельно или через оператора вносить зада- 
ния в систему, не прибегая к услугам программиста. 

При разработке первого компонента системы, 
осуществляющего процесс тестирования студен- 
тов, был проведен предварительный анализ вопро- 
сов, встречающихся в зачетных и экзаменацион- 
ных билетах по программированию. В результате 
выделено три основные категории, требующие от- 
вета в виде: 

• значения (числа или строки); 

• исходного кода программы; 

• исходного кода процедуры или функции. 
Разработанная система тестирования выполня- 
ет следующие основные задачи: 

• предоставляет возможность случайного выбора 
вопросов (билетов) для тестирования; 

• предоставляет средства для ввода значений от- 
ветов на вопросы первой категории и текста 
программы для остальных категорий вопросов; 

• на основе введенного текста программы гене- 
рирует максимально близкий к нему исходный 
код, дополненный формализованным вводом и 
выводом и средствами организации контроля 
(например, средствами записи полученного ре- 
зультата в файл определенной структуры для 
последующего сравнения с эталоном ответа); 
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Вопросы: ^ 2 


1. Для начала проверки выберите пункт 'Взять билет' из меню 'Билет' и 
войдите в нужный вам режим контроля. 

2. Нажимая на кнопки вопросов вы можете соответственно показывать 
или скрывать соответствующие вопросы. 

3. Ответив на все вопросы и подтвердив ответ в каждом, нажав на 
кнопку 'Сдать', выберите пункт "Сдать билет' в меню билет. 



Рис. 1. Начальное окно и окно регистрации системы тестирования знаний по основам программирования 


• вызывает компилятор для проверки синтакси- 
ческой правильности программы; 

• организует вывод сообщений компилятора в 
окно с текстом программы студента; 

• учитывает количество неуспешных компиляций; 

• организует запуск успешно откомпилирован- 
ной программы в консольном режиме для ее от- 
ладки; 

• предоставляет тестовые наборы данных для се- 
мантического тестирования созданной про- 
граммы; 

• производит сравнение эталонных и полученных 
результатов и оценивает результат тестирования. 

В качестве языка программирования для сту- 
дентов выбран язык Паскаль, который использует- 
ся при изучении основ программирования для не- 
профильных специальностей. Система генерирует 
код в виде проекта БеІрЫ для компилятора фирмы 
Вогіапё, включенного в поставку Оеірііі (выбор 
языка и компилятора принципиального значения 
не имеет). 

Несколько слов о втором компоненте системы 
- инструменте преподавателя. Он реализован в ви- 
де текстового редактора, сохраняющего подгото- 
вленный преподавателем файл наборов вопросов 
(билетов) и эталоны ответов к ним в зашифрован- 
ном виде, чтобы студенту было невозможно узнать 
его содержимое. 


Здесь представлены несколько скриншотов, ил- 
люстрирующих основные этапы работы системы 
тестирования. После запуска программы студент 
должен выбрать форму тестирования (зачет или эк- 
замен), пройти регистрацию и получить доступ к 
вопросам билета, выбранного системой случайным 
образом. На рис. 1 представлено начальное окно 
системы, а на рис. 2 и 3 - окна диалогов для отве- 
тов на вопросы билета. При ответе на вопрос, тре- 
бующий ввода текста программы щелчок по кноп- 
ке «Сдать» вызывает появление окна (рис. 4), в ко- 
тором приведены исходные данные, необходимые 
для тестирования семантической правильности 
программы. 



Рис. 2. Диалог с полями для ввода ответов на вопросы пер- 
вой категории 
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( Найти максим; 


Найти максимальное в массиве из 10 целых чисел. Ответ сохранить в переменной АМ5ѴЕВ. 


1 Ргодгат Тхг; 


2 

ѵаг 


3 

і: іпгедег; 


4 

таз: аггау [0..9] оГ іпгедег; 


5 

АЫ5ШЕК: іпъедег; 


6 Ьедіп 


7 

^ог і:= 0 Ъо 9 сіо 


8 

Ьедіп 


9 

геайіп (таз [і] ) 


10 

епсі; 


11 

Гог і:= 1 Іо 9 Ло 


12 

Ьедіп 


13 

і^ таз[і] < таз[і-1] ѢЬеп 


14 

таз[і] := таз[і-1] 


15 

епсі; 


1€ 

ѵгігеіп ( ' ' , таз [9]); 


17 

АЫ5ГСЕК := таз [9] ; 


18 

геасііп 


19 

епсі . 


20 



< 


[> 

К 


Файл: ра$ѴГх1.фг, строка: 17, сообщение: Ѵаіие а$$ідпеб (о 'АМЗѴ7ЕРГ пеѵег и$еб 


Кол-во неудачных компиляций =1 Кол-во удачных компиляций =1 Компиляция успешна 


Проверить 


Скрыть Сдать 


Рис. 3. Окно для ответа на вопросы второй категории с текстом программы и сообщениями компилятора 


1 Проверка 


-X] 

Используйте в программе следующие входные данные: 

3 5 6 13 42 32 23 34 76 43 



1 ОК 



Рис. 4 Окно сообщения с исходными данными для тестиро- 
вания семантической правильности программы 

Система контроля, основанная на открытой форме 
тестирования с использованием конструируемого 
ответа 

Разработка системы была обусловлена необхо- 
димостью автоматизировать проверку знаний на- 
чального уровня освоения компьютера, а также 
программных средств информационных техноло- 
гий. Особенность ответов при проверке этой тема- 
тики в том, что: 1) они редко укладываются в одно 
слово или число; 2) часто включают перечень по- 
следовательности действий, необходимых для до- 
стижения некоторой цели, или же перечень эл- 
ементов изучаемой системы. Применение закры- 
той формы тестирования, как указывалось выше, 
не позволяет должным образом проверить полу- 
ченные знания. Использование открытой формы 
тестирования в простейшем виде также малоэф- 


фективно из-за отмеченной пространности отве- 
тов. Для повышения эффективности открытой 
формы тестирования в данном случае было решено 
использовать её разновидность, основанную на вы- 
борочно-конструируемых ответах. 

В ответах этого типа отвечающий должен соби- 
рать правильный ответ из предложенных элементов 
ответа или соотносить их между собой. Элементами 
ответа могут выступать предложение, одна или нес- 
колько фраз, числа, совокупности формул [5, 6] или 
слов, или графиков и рисунков [7]. Известные нам 
реализации этой формы тестирования обладают не- 
которыми общими признаками. Во-первых, эл- 
ементы ответа (и сам ответ) не являются фразами 
естественного языка. Они представляются в виде 
фрагментов химических формул или рисунков, ото- 
бражающих некоторое понятие. Во-вторых, элемен- 
ты ответа нумеруются, а сам ответ представляется 
числовой последовательностью. Для учебных дис- 
циплин, в которых ответ на вопрос формулируется 
на естественном языке, такое числовое его предста- 
вление снижает обучающую ценность вопроса. 

Чтобы использовать выборочно-конструируе- 
мые ответы в нашем случае, мы остановились на 
варианте формулировки ответа на естественном 
языке. Сформулированный правильный ответ при 
подготовке теста разбивается на набор отдельных 
элементов - фрагментов, каждый из которых мо- 
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жет состоять из нескольких слов. Фрагмент может 
быть логически завершенным, но это не обязатель- 
но. Для уменьшения вероятности угадывания в на- 
бор включаются также фрагменты других ответов- 
дистракторов. Фрагменты в наборе располагаются 
случайным образом и предъявляются для ответа. 
Сконструированный из фрагментов ответ сравни- 
вается с правильным ответом. 

При таком подходе появляется вероятность уга- 
дывания ответа за счет смысловой несогласованно- 
сти фрагментов правильного ответа и ответов-ди- 
стракторов. Для уменьшения такой вероятности 
все вопросы и фрагменты ответов к ним в процессе 
создания теста классифицируются по отдельным 
видам знаний предметной области тестирования. 
Для классификации используются категории 
объектно-структурного анализа, предназначенного 
для практического структурирования знаний 14]. 
Согласно этому анализу, знания любой предметной 
области могут быть разделены на 8 категорий: 

• ЗАЧЕМ-знания; 

• КТО-знания; 

• ЧТО -знания; 

• КАК-знания; 

• ГДЕ-знания; 

• КОГДА-знания; 

• ПОЧЕМУ-знания; 

• СКОЛЬКО-знания. 


При предъявлении списка фрагментов ответов 
испытуемому все фрагменты берутся из ответов для 
вопросов одной категории. Это позволяет обеспе- 
чить смысловую согласованность фрагментов отве- 
тов на эти вопросы. 

Система состоит из двух подсистем: подсисте- 
мы разработчика теста - преподавателя и подси- 
стемы пользователя теста - студента. Подсистема 
преподавателя содержит программные средства, с 
помощью которых создаются и редактируются во- 
просы и ответы теста, выполняется их классифика- 
ция. Подсистема студента включает в себя средства 
выбора и отображения вопросов и фрагментов от- 
ветов на них, средства оценки выполненного теста. 

На рис. 5 приведен скриншот окна програм- 
мной части системы КИТ (Компьютерный Ин- 
струментарий для Тестирования), предназначен- 
ной для создания вопросов и элементов ответов на 
них на стадии классификации (подсистема препо- 
давателя). Из полного списка вопросов выбирают- 
ся вопросы и фрагменты ответов, соответствующие 
категории ЧТО-знания. 

На рис. 6 приведен скриншот окна програм- 
мной части системы КИТ - подсистема студента. 
Предлагаемые для ответа фрагменты отображаются 
в левой части окна в виде списка. Из списка требу- 
ется выбрать правильные фрагменты и располо- 
жить в нужной последовательности в предназна- 
ченной для ответа области. 


Компьютерный Инструментарий для Тестирования (КИТ). ^ П X 


Файл ПрэЕкз :: Справка 

^ Рабочее окно & Классификация вопросов ^ Результат классификации [ 

Семантические категории: ИЕ 

ц 0 Выберите вопросы из списка: 

Вопросы, отнесенные к категории: ЧТО і 


Что нужно сделать для вставки в документ текста, размещенного в і 
ответ 

Чтобы вставить в документ текст ._ 
размещенный в другом файле. нужно:_ 
курсором указать в документе место вставки 
щелкнуть пункт менюВСТАВКА 
выбрать команду ФАЙЛ 

выполнить требуемые действия в окне диалога 


Что нужно сделать для вставки в текст документа таблицы М5 Ѵ/огсІ ' 
ответ 

Для вставки в текст документа таблицы М5 Ѵ/оіб нужно:_ 
курсором указать место вставки 
щелкнуть пункт меню ТАБЛИЦА 
выбрать команду ВСТАВИТЬ ТАБЛИЦУ 


Что позволяет делать представление Ѵ/Ѵ5ІѴѴБ ? 
ответ 

Представление Ѵ/Ѵ5ІѴѴ6 позволяет_ 
просмотреть на дисплее_ 
готовый к печати документ 


Что нужно сделать для правильного Форматирования абзаца? 
ответ 

Для правильного форматирования абзаца нужно:_ 
установить курсор в начало строки 
нажать клавишу ТАБ 


Количество вопросов в данной категории: 4 Осталось неклассифицированных вопросов: 0 

Отнести вопросы к категории: V ОН ^ Загрузить Файл Н Сохранить тест 


Рис. 5. Окно системы КИТ на этапе классификации вопросов 
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ІооІ5Іи4епи 


“■ 1 



ДЛЯ ОТВЕТА 

ВОПРОС 7 4 12 

курсором указать в документе место вставки 

Что нужно сделать для вставки в текст документа таблицы М3 Ѵ/оіб ? 

щелкнуть пункт меню ТАБЛИЦА 


нажать клавишу ХАБ 


Для вставки в текст документа таблицы М3 \Ѵогб нужя 


выбрать команду ФАЙЛ 


выбрать команду ВСТАВИТЬ ТАБЛИЦУ 


выполнить требѵеыые действия в окне диалога 


щелкнуть путл меню ВСТАВКА 


просмотреть на лис глее 




установить курсор в начало строга 

ОТВЕТ 

готовый к печати документ 

Для вставки в текст документа таблицы М3 У/огб нужно:_ 

Далее 



Рис. 6. Окно системы КИТ на этапе тестирования 


Рассматриваемая реализация дает возможность 
проверять наличие знаний, необходимых для по- 
нимания сути поставленного вопроса, а также от- 
вета на него. Значительно уменьшается и вероят- 
ность случайного угадывания ответа. Действитель- 
но, пусть правильный ответ состоит из к фрагмен- 
тов, которые выбираются из списка, содержащего 
п фрагментов. Тогда число всевозможных комби- 
наций из к фрагментов с учетом их следования рав- 
но числу размещений из п по к, т. е. А„ к =п\/(п-к)\, и, 
следовательно, вероятность случайного угадыва- 
ния ответа пропорциональна величине р х =\/А к 
Для сравнения, вероятность угадывания при выбо- 
ре правильного ответа из нескольких предложен- 
ных составляет р 2 =1/т, где т - количество предла- 
гаемых вариантов ответа [3]. Нетрудно оценить вы- 
игрыш, получаемый в нашем случае. Пусть число 
предлагаемых вариантов ответа для закрытого те- 
стирования равно полному числу фрагментов (эк- 
вивалентная ситуация выбора), т. е. т=п. Тогда от- 
ношение р 2 /Рі = (\/т)А п к . Так, для т=п= 6 и к = 3 ве- 
личина этого отношения равна 20, т. е. вероятность 
случайного угадывания ответа при открытом те- 
стировании с конструированием ответа в 20 раз ме- 
ньше, чем при закрытом тестировании с выбором 
одного правильного ответа из нескольких предло- 
женных. 

При создании тестов с помощью систем опи- 
санного типа важным моментом является правиль- 
ная классификация вопросов по категориям зна- 


ний. Это предъявляет соответствующие требова- 
ния и к самим вопросам. Иногда для лучшей смы- 
словой согласованности фрагментов ответов при- 
ходится перефразировать вопрос таким образом, 
чтобы он из одной категории знаний перешел в 
другую. 

Следующее замечание связано делением ответа 
на отдельные фрагменты. Лучше всего фрагмента- 
ции поддаются ответы на вопросы, включающие в 
себя списки. В этом случае фрагментом является 
отдельный элемент списка. Чаше вопросы такого 
рода относятся к категориям КАК-знания и ЧТО- 
знания. Они требуют ответов, содержащих либо 
перечень действий, либо перечень элементов ка- 
кой-либо системы. Что касается вопросов, относя- 
щихся к другим категориям знаний, то в ответах на 
них фрагментами лучше выбирать логически за- 
вершенные части всей фразы, содержащей ответ. 

Описанная система может быть также исполь- 
зована для контроля знаний не только в упомяну- 
том, но и в любых подобных случаях, когда на во- 
просы требуются ответы в форме перечисления. 

Таким образом, описанные системы тестирова- 
ния показывают возможность полноценной реали- 
зации открытой формы тестирования: 

• со свободно-конструируемым ответом на осно- 
ве проблемно-ориентированного языка; 

• с выборочно-конструируемым ответом на есте- 
ственном языке. 
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Описанные системы позволяют проверять бо- 
лее высокие уровни знания, чем репродуктивное 
узнавание. Их встраивание в компьютерные об- 
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